Binh nghiệp khép lại nhưng sự nghiệp chính trị của ông lại mở ra từ khi nền Đệ Nhị Cộng hòa được thành lập. Ông cùng nhiều cựu tướng lĩnh thành lập Hiệp hội Chiến sĩ Việt Nam do ông làm Chủ tịch, tham gia nhiều tổ chức xã hội, xây dựng uy tín chính trị. Nhờ đó, tháng 9 năm 1967, ông đắc cử Thượng nghị sĩ, được bầu làm Chủ tịch Ủy ban Quốc phòng Thượng viện (1968-1970). Năm 1971, ông ra tranh cử Hạ viện tại đơn vị Quảng Ngãi và đắc cử. Tháng 2 năm 1974, ông là Phó Thủ tướng đặc trách Thanh tra các chương trình Phát triển quốc gia. Cuối năm ông được Tổng thống Nguyễn Văn Thiệu cử đi công du các nước không liên kết ở châu Phi. Theo chương trình, sau đó sẽ sang Pháp và Mỹ để vận động chính trị cho Việt Nam Cộng hòa. Tuy nhiên, do sự kiện Buôn Ma Thuột, ông buộc phải bỏ dở kế hoạch.

Khi Chính phủ Nguyễn Bá Cẩn được thành lập ngày 14 tháng 4 năm 1975, ông giữ chức vụ Phó Thủ tướng đặc trách Thanh tra kiêm Tổng trưởng Quốc phòng. Tuy nhiên, Chính phủ chỉ tồn tại được 10 ngày thì đổ. Ngày 27 tháng 4 năm 1975, ông ra trước Quốc hội trình bày thực trạng quân sự, thuyết phục các nghị sĩ ủy nhiệm cho tướng Dương Văn Minh làm Tổng thống nhằm tìm một giải pháp về chính trị để thương thuyết với đối phương. Tuy nhiên mọi việc đã quá trễ. Ngày 28 tháng 4, khi Chính phủ Vũ Văn Mẫu thành lập, ông là người thay mặt cho Chính phủ cũ để bàn giao.

Những thời khắc cuối cùng tại Sài Gòn được ông kể lại chi tiết trong hồi ký của mình:

“Chiều 29 tháng 4: lúc đến Tòa đại sứ Mỹ, tôi không vào được vì người quá đông nên mọi cửa ra vô đều đóng chặt, tôi phải đi vòng ngã phía đường Hồng Thập Tự (nay là đường Nguyễn Thị Minh Khai, quận 1 - HCM) cũng không vô được. Tôi trở lại Bộ Quốc phòng điện thoại cho Tòa đại sứ Mỹ, nhưng gọi rất khó khăn vì họ đã cắt nhiều đường dây, kiên nhẫn gọi một hồi liên lạc được với ông Polgar (người có trách nhiệm cao nhất của Cơ quan trung ương tình báo Mỹ CIA tại Sài Gòn). Ông dặn tôi đến nhà riêng rồi ông sẽ bốc tôi đi.Đến nơi tôi cũng thấy đông nghẹt người đang chờ. Cô thư ký của ông Polgar kêu chúng tôi đến khách sạn Mỹ Lee Hotel gần đài Chiến sĩ Tự do. Chúng tôi tới đó thấy cửa đóng mà người chờ đợi để đi cũng quá đông nên đành trở lại nhà ông Polgar ngồi chờ.[12]...Đang lúc nản lòng, định bỏ cuộc, bỗng cô thư ký của ông Polgar đến, nói nhỏ: “Mình đi chỗ khác!”. Xe chúng tôi theo xe của cô ấy đến đường Gia Long (nay là đường Lý Tự Trọng) gần đường Tự Do (nay là đường Đồng Khởi) tại một cao ốc 9 tầng. Tầng dưới là Alliance Francaise của Pháp. Còn 8 tầng trên là văn phòng tình báo CIA của Mỹ. Chúng tôi lên trên sân thượng tầng 9. Tại đó đã có sẵn khoảng 60 người đang chờ trực thăng hạ xuống. Người ta chen lấn nhau để lên máy bay nên tôi đành phải đứng phía sau”.[13]

Trong chuyến đi cuối cùng này, ông tình cờ gặp một người quen cũ là Trần Kim Tuyến, cựu Giám đốc Sở Nghiên cứu Chính trị thời Đệ Nhất Cộng hòa. Cả hai người ngồi đối diện nhau nhưng đều lặng thinh, không nói câu nào trong suốt thời gian bay ra chiến hạm Hancock.[14]

“7 giờ 30 tối ngày 29.4.1975, tôi giã từ Sài Gòn. Lúc đó Sài Gòn đã lên đèn, những ngọn đèn lờ mờ như chan hòa nước mắt, tôi giã từ quê hương đất nước, lúc quê hương đất nước đang chuyển mình quặn đau, cái đau đứt ruột (…) Trực thăng chở chúng tôi đáp xuống chiến hạm Hancock. Sáng hôm sau (30.4.1975), khi radio loan tin lời tuyên bố đầu hàng của tổng thống Dương Văn Minh, hầu hết những người trên tàu đều xúc động. Một nỗi buồn da diết đè nặng tâm hồn mọi người hiện diện. Tất cả đều im lặng. Im lặng nhìn nhau không muốn chuyện trò… đám đông người ở trên tàu đều nhòe nhoẹt nước mắt. Tàu nổ máy rồi rẽ sóng ra khơi”…[13]